近年来，以用户为中心的应用程序有所增长，这些应用程序需要在低数据制度中跨任务进行有效的知识转移。一个示例是个性化，通过学习少量属于特定用户的标记数据，可以调整一个预处理的系统。这种设置需要在低计算复杂性下高精度，因此准确性的帕累托前沿与适应性成本起着至关重要的作用。在本文中，我们将在几个摄影图像分类设置中推动此帕累托前沿，并具有两个关键的贡献：（i）一个称为上下文挤压和兴奋（案例）的新型自适应块，该块在新任务上调整了预处理的神经网络，以显着通过用户数据（上下文）的单个正向通过，以及（ii）基于称为大写的坐标培训协议（II）的混合训练协议，以提高性能，该协议利用了元训练的情况块和微调例程，以进行有效的适应。大写在VTAB+MD的26个数据集和充满挑战的现实世界个性化基准（Orbit）上，相对于元学习者的新最先进的准确性（轨道），从而通过领先的微调方法缩小了差距自适应成本较低的数量级。
translated by 谷歌翻译
2022-06-10
我们以已知的奖励和未知的约束来研究顺序决策，这是由约束代表昂贵评估人类偏好（例如安全舒适的驾驶行为）的情况所激发的。我们将互动学习这些约束作为新的线性匪徒问题的挑战正式化，我们称之为约束的线性最佳臂识别。为了解决这个问题，我们提出了自适应约束学习（ACOL）算法。我们为约束线性最佳臂识别提供了一个依赖实例的下限，并表明Acol的样品复杂性与最坏情况下的下限匹配。在平均情况下，ACOL的样品复杂性结合仍然比简单方法的边界更紧密。在合成实验中，ACOL与Oracle溶液相同，并且表现优于一系列基准。作为应用程序，我们考虑学习限制，以代表驾驶模拟中的人类偏好。对于此应用，ACOL比替代方案要高得多。此外，我们发现学习偏好作为约束对驾驶场景的变化比直接编码奖励函数中的偏好更强大。
translated by 谷歌翻译
Randomly masking and predicting word tokens has been a successful approach in pre-training language models for a variety of downstream tasks. In this work, we observe that the same idea also applies naturally to sequential decision making, where many well-studied tasks like behavior cloning, offline RL, inverse dynamics, and waypoint conditioning correspond to different sequence maskings over a sequence of states, actions, and returns. We introduce the FlexiBiT framework, which provides a unified way to specify models which can be trained on many different sequential decision making tasks. We show that a single FlexiBiT model is simultaneously capable of carrying out many tasks with performance similar to or better than specialized models. Additionally, we show that performance can be further improved by fine-tuning our general model on specific tasks of interest.
translated by 谷歌翻译
我们提供了一种新的单调改进保证，以优化合作多代理增强学习（MARL）中的分散政策，即使过渡动态是非平稳的。这项新分析提供了对两种最新的MARL参与者批评方法的强劲表现的理论理解，即独立的近端策略优化（IPPO）和多代理PPO（MAPPO）（MAPPO），它们都依赖于独立比率，即计算概率，每个代理商的政策分别比率。我们表明，尽管独立比率引起的非平稳性，但由于对所有分散政策的信任区域约束，仍会产生单调的改进保证。我们还可以根据培训中的代理数量来界定独立比率，从而以原则性的方式有效地执行这种信任区域约束，从而为近端剪辑提供了理论基础。此外，我们表明，当IPPO和Mappo中优化的替代目标在批评者收敛到固定点时实质上是等效的。最后，我们的经验结果支持以下假设：IPPO和MAPPO的强劲表现是通过削减集中式培训来执行这种信任区域约束的直接结果，而该执行的超参数的良好值对此对此具有高度敏感性正如我们的理论分析所预测的那样。
translated by 谷歌翻译
样本效率对于仿制学习方法来说至关重要，以适用于现实世界应用。许多研究通过延长对抗性模仿的违法行为来提高样本效率，无论这些违规延迟是否可以改变原始目标或涉及复杂的优化。我们重新审视对抗性模仿的基础，并提出了一种不需要对抗性培训或最小最大优化的脱营式样本有效方法。我们的配方在两个主要见解中大写：（1）Bellman方程和静止状态 - 动作分配方程之间的相似性使我们能够推导出一种新的时间差异（TD）学习方法; （2）使用确定性政策简化了TD学习。结合，这些见解产生了一种实用的算法，确定性和鉴别的模仿（D2仿真），其通过第一分区样本来分为两个重放缓冲区，然后通过禁止策略加强学习学习确定性政策。我们的经验结果表明，D2模仿在实现良好的样本效率方面有效，表现出对许多控制任务的对抗模仿的几种违规延伸方法。
translated by 谷歌翻译
建立能够参与与人类社会互动的自治代理是AI的主要挑战之一。在深度加强学习（DRL）领域内，这一目标激励了多种作品上体现语言使用。然而，目前的方法在非常简化和非多样化的社交场合中关注语言作为通信工具：语言的“自然”减少到高词汇大小和变异性的概念。在本文中，我们认为针对人类级别的AI需要更广泛的关键社交技能：1）语言在复杂和可变的社会环境中使用; 2）超越语言，在不断发展的社会世界内的多模式设置中的复杂体现通信。我们解释了认知科学的概念如何帮助AI向人类智力绘制路线图，重点关注其社会方面。作为第一步，我们建议将目前的研究扩大到更广泛的核心社交技能。为此，我们展示了使用其他（脚本）社会代理商的多个网格世界环境来评估DRL代理商社交技能的基准。然后，我们研究了最近的Sota DRL方法的限制，当时在Sowisai上进行测试并讨论熟练社会代理商的重要下一步。视频和代码可在https://sites.google.com/view/socialai找到。
translated by 谷歌翻译
在深RL（DRL）社区的一个主要挑战是培养能够概括了在训练中从未见过的情况下他们的控制策略代理。在不同的任务训练已被确定为良好的泛化，从而拉高研究人员倾向于使用经过复杂的连续参数空间控制程序丰富任务生成系统的一个关键因素。在这样复杂的工作空间，必须依靠某种形式的自动课程学习（ACL）对适应任务抽样分布给定的学习剂，而不是随机抽样的任务，因为许多最终可能会成为无论是琐碎的或不可行的。因为它是很难得到这样的任务空间的先验知识，许多ACL算法探索任务空间随着时间的推移，检测进度龛，昂贵的塔布拉-rasa的过程，为每个新的学习代理执行的需要，虽然他们可能有相似之处其功能配置文件。为了解决这个限制，我们引入元ACL的概念，并在暗箱RL学习者，即算法寻求课程一代推广到学习者的（未知）分布下正式化。在这项工作中，我们提出再次元ACL的第一个实例，并在多个模拟的环境相对于传统的ACL展示其为课程发电效益，包括与不同形态的学习程序产生的跑酷的环境。视频和代码可在https://sites.google.com/view/meta-acl。
translated by 谷歌翻译
We propose a fully unsupervised method to detect bias in contextualized embeddings. The method leverages the assortative information latently encoded by social networks and combines orthogonality regularization, structured sparsity learning, and graph neural networks to find the embedding subspace capturing this information. As a concrete example, we focus on the phenomenon of ideological bias: we introduce the concept of an ideological subspace, show how it can be found by applying our method to online discussion forums, and present techniques to probe it. Our experiments suggest that the ideological subspace encodes abstract evaluative semantics and reflects changes in the political left-right spectrum during the presidency of Donald Trump.
translated by 谷歌翻译
Realizing when a model is right for a wrong reason is not trivial and requires a significant effort by model developers. In some cases, an input salience method, which highlights the most important parts of the input, may reveal problematic reasoning. But scrutinizing highlights over many data instances is tedious and often infeasible. Furthermore, analyzing examples in isolation does not reveal general patterns in the data or in the model's behavior. In this paper we aim to address these issues and go from understanding single examples to understanding entire datasets and models. The methodology we propose is based on aggregated salience maps. Using this methodology we address multiple distinct but common model developer needs by showing how problematic data and model behavior can be identified -- a necessary first step for improving the model.
translated by 谷歌翻译
多目标优化（MOO）旨在同时优化多个冲突的目标，并在机器学习中发现了重要的应用，例如最大程度地减少分类损失和差异，以在处理不同的人群方面以保持公平。最佳性，进一步优化一个目标至少将至少损害另一个目标，而决策者需要全面探索多个Optima（称为Pareto Front），以确定一个最终解决方案。我们解决了寻找帕累托阵线的效率。首先，使用随机多偏差下降（SMGD）从头开始寻找前部，对于大型神经网络和数据集很昂贵。我们建议基于预测器 - 校正方法来探索帕累托阵线作为一些初始Optima的歧管。其次，对于每个探索步骤，预测变量求解一个大规模的线性系统，该系统在模型参数数量中二次缩放，并且需要一个反向传播来评估求解器的二阶Hessian-vector产品。我们提出了一个只能线性缩放的高斯 - 纽顿近似，并且只需要每次迭代的一阶内产物。这还允许在大约求解线性系统时，在微小和共轭梯度方法之间进行选择。这些创新使大型网络成为可能的预测器 - 校准。关于多目标（公平和准确性）错误信息检测任务的实验表明，1）预测器 - 矫正器方法可以在更少的时间内找到比或与SMGD更好或与SMGD相似的方法； 2）提出的一阶方法不会损害二阶方法识别的帕累托前沿的质量，同时进一步缩短了运行时间。
translated by 谷歌翻译